import scrapy
from ..items import BaiduItem


# 导入字段并实例化对象
# from Baidu.items import BaiduItem


class BaiduSpider(scrapy.Spider):
    name = "baidu"
    allowed_domains = ["www.baidu.com"]

    # 起始页的URl
    # start_urls = ["https://www.baidu.com"]
    # 不使用start_urls
    # 重写start_request()方法
    def start_requests(self):
        for i in range(0, 5):
            url = "https://www.baidu.com".format()
            yield scrapy.Request(url=url, callback=self.parse)

    def parse(self, response):
        lists = response.xpath('')
        # 提取数据
        for list in lists:
            # 实例化
            item = BaiduItem()
            # 提取数据
            item['XXX'] = list.xpath('./').get().strip()
            # 把提取的数据交给管道处理
            # yield item

            # 拼装子链接url
            url2 = ''

            # 把第二页链接交给调度器入队列
            yield scrapy.Request(url=url2, meta={'item': item}, callback=self.get_car_info)

    def get_car_info(self, response):
        # meta会随着response一起回来，作为response的一个属性
        item = response.meta['item']
        item['XXX'] = response.xpath('./').get().strip()
        yield item


        # 编辑下一页地址
        # url = ''
        # yield scrapy.Request(url=url, callback=self.parse)
